#variance reduction

5 篇

Same Luck, Different Choice: Twin-World Credit Assignment for Agentic Reinforcement Learning

同运不同择：面向智能体强化学习的孪生世界信用分配

🧭 Agent RL 训练 · 反事实信用分配 ★ 深度解读

University of Sheffield · Carnegie Mellon University · University of Michigan

共享 Gumbel 噪声的孪生世界实现 turn 级反事实信用分配，方差降为 1−ρ 倍，7 个 QA 基准平均提升 5.3/4.5 点 EM

📌 工作参考价值（4 点）

在 LLM Agent 或多轮交互推荐中，固定检索/工具/打分等确定性组件，引入 keyed Gumbel noise 做 counterfactual rollout，评估某个 query 改写、工具调用或推荐 action 的增量收益；twin 共享下游噪声可把方差降为 (1−ρ) 倍，以更少样本判定方向。
预算分配采用「predicted discordance / cost」平方根规则：对分歧大且便宜的决策多分 twin，对必成功/必失败的 prompt/trajectory 少分；实际可用 logistic 模型预测分歧概率，配合 Horvitz-Thompson 加权保持无偏。
信用回传可组合：token-level advantage = trajectory-level GRPO advantage + 标准化 twin credit（A_t = A_traj + ω Â_t/σ̂），简单有效；在电商搜索 Agent 中可将最终成交/点击奖励回传给关键 query、是否继续搜索、最终回答等 action，减少好决策被失败 episode 误罚。
工程上 keyed noise 作为 logits processor 开销约 2%；self-twin 和 same-evidence shortcut 能省大量 auxiliary tokens；注意 live web/stateful API 需缓存或替换为确定性版本，否则耦合减弱但无偏性仍保留。

Training | 2026-10-22 | cs.LG | score 8/10

Baselines and Score Centering in Policy Gradient Estimation

策略梯度估计中的基线项与分数中心化

🧭 RLHF/策略梯度估计·重要性采样

University of Illinois Chicago · Perplexity AI

用 reward 与 importance-weighted score 的协方差替代正则化 IS 策略梯度，厘清 group-mean baseline 与 score centering 的不同作用

📌 工作参考价值（4 点）

在电商/Agent 的 LLM RLHF 后训练中，若用 sequence-level PPO/GRPO 且 ratio 被 clip，直接用 batch 内 mean reward 作为 group-mean baseline 即可，不必再对 importance-weighted score 做额外 centering，降低实现复杂度。
若采用 token-level advantage（细粒度 reward/PPO），当 importance ratio 被 truncation/masking/clipping 时，必须对 importance-weighted score 做 score centering（减去总体均值，可用 moving average 估计），否则策略梯度会带偏置。
建议把梯度写成 Cov(reward, weighted_score) 而非单纯加权 reward；该形式天然对 constant reward shift 稳健，适合离线异步训练中 stale policy 的纠偏。
序列级 IS 下 score centering 无额外收益，token 级 IS 下则是必要修正；实现前先确认 reward/advantage 的粒度再决定是否引入 score centering。

Training | 2026-10-15 | cs.LG | score 7/10

policy gradient importance sampling RLHF score centering variance reduction LLM post-training

Randomized Momentum Transport with Cheap Predictors

随机动量传输与廉价预测器

🧭 训练优化 · 随机动量传输

Machine Learning and Optimization Laboratory (MLO), EPFL

提出随机化动量传输，以概率 q 评估梯度修正并用廉价预测替代，在保持 O(T^-1/3) 收敛下显著降低 oracle 调用成本

📌 工作参考价值（4 点）

在大模型/推荐模型训练中，二阶动量或梯度修正（如 HVP）计算昂贵，可借鉴随机化加权估计：以概率 q 触发精确修正，其余步用廉价预测（如在线对角预测器），用重要性权重保持条件均值。
若采用 STORM 类优化器，当梯度差噪声模大于光滑常数时，设置 q<1 反而降低收敛首项系数（最多约 10%），可提供调节 q 的理论依据，降低训练成本同时性能不降。
实验表明同等 oracle 预算下，q=1/4 的随机修正降低训练 loss 18-43%，提升 CIFAR-10 HVP 精度 1.5 点；在电商大模型训练中可先在小任务上验证并调整 q，减少 GPU/TPU 前向与通信开销。
在线对角预测器有 regret-to-convergence 保证，适合线上实时训练推荐模型的连续更新场景。

Training | 2026-10-09 | cs.LG | score 7/10

optimization momentum variance reduction randomized transport training efficiency STORM

Conditional Evaluation of Language Models with Cheap Auxiliary Signals

使用廉价辅助信号的语言模型条件评估

🧭 LLM 条件评估 · 半监督控制变量

Department of Statistics and Data Science, University of California, Los Angeles · Department of Statistics and Finance, School of Management, University of Science and Technology of China · Microsoft · Department of Statistics and Data Science, National University of Singapore

提出 LACE 半监督估计器，用便宜信号局部中心化控制变量估计 LLM 条件性能，实现无偏且高效。

📌 工作参考价值（4 点）

用 LLM-judge、模型置信度、pairwise 偏好等廉价信号，对推荐/搜索/Agent 系统按流量切片（新客、低活跃、长尾 query、分业务场景）做条件效果评估；LACE 的局部中心化确保即便信号有偏也不影响估计目标，减少对人工标注的依赖。
借鉴局部岭控制变量：在少量人工标注子集上估计 gold label 残差均值，与全量 cheap score 均值结合，可有效降低条件指标估计方差；评估体系选型可先计算 cheap signal 与 gold label 在目标子群的局部 R²，优先选高相关信号。
对 A/B 实验和模型迭代，可用其模型对差距估计器和部署加权得分，分析模型在不同流量桶/商品类目/用户群体上的条件提升是否显著，避免只看整体均值。
在 Agent/LLM 推荐链路中，可把 reward model 或 judge 输出当作廉价信号，监控线上分场景性能，低成本识别退化区域。

Eval | 2026-08-17 | stat.ML | score 7/10

LLM evaluation control variates semi-supervised conditional performance variance reduction cheap signals

Stochastic Gradient Optimization with Model-Assisted Sampling

基于模型辅助采样的随机梯度优化

🧭 训练优化 · 梯度估计方差削减

University of Turku, Department of Computing

将调查抽样中的模型辅助估计引入小批量梯度计算，构造更低方差的梯度估计器，可无缝嵌入现有优化器

📌 工作参考价值（4 点）

训练推荐模型（如 CTR/CVR 预估）时，可用该方法替代默认的均匀小批量采样，降低梯度方差，加速收敛，尤其适于中等维度特征空间场景。
与 AdamW 等带动量的优化器组合时，能在约一半训练轮次达到同等或更好泛化，适合大规模工业模型缩短训练周期。
实现简单：只需在数据加载器中替换采样逻辑，并维护一个轻量辅助模型（如一个小型预测网络），不改变优化器内部更新规则，工程侵入性低。
可借鉴其“辅助信息”思路：在搜索/推荐系统中，利用曝光偏差、用户活跃度等先验知识构建采样权重，进一步降低在线学习中的梯度估计误差。

Training | 2026-06-25 | cs.LG | score 6/10

variance reduction gradient estimation model-assisted sampling stochastic optimization survey sampling AdamW